Content

Context Rot（上下文腐烂）是指 LLM 的输出准确率随输入长度增加而下降的现象。

Acceptance

λ-RLM 论文将其形式化为：

A(n) = A₀ × ρ^(n/K)，其中 ρ ∈ (0, 1]

• A(n)：输入长度为 n 时的准确率
• A₀：峰值准确率（短输入时）
• ρ：衰减因子（越小 = 衰减越快）
• K：模型的上下文窗口大小

当 n 接近 K 或超过 K 时，准确率指数级下降。

典型表现：

• 总结长文档时，开头的关键信息被「忘记」
• 在超长代码库中，模型搞混了早期定义的变量
• 多轮对话越来越长后，模型开始「不记得」几十轮前的约定

相关现象——Lost in the Middle：
实验表明，模型对上下文中间部分的注意力最弱——开头和结尾被记得最清楚，中间信息容易丢失。

Question

1. Context Rot 是 Transformer 架构的必然限制，还是可以通过训练减轻？
2. RAG（将长文档切分后检索）和递归分解（λ-RLM 的方法）是两种不同的应对策略，各有什么优缺点？
3. 「Lost in the Middle」现象意味着什么样的 prompt 结构最有效？

See Also

Context Window
LLM
Attention Mechanism
Context Isolation

Reference

• 2026-03-24 λ-RLM 论文调研
• λ-RLM 深度分析报告
• https://arxiv.org/abs/2603.20105

YoYo’s Note

Context Rot 解释了「为什么 AI 越聊越蠢」。

这个概念把一个模糊的使用体验变成了可量化的现象：不是模型变笨了，是你给它的信息越来越多，它消化不了。

对 Jeff 实用的应对策略：

1. 短而精的上下文优于「把所有相关信息都堆进去」
2. 最重要的信息放开头或结尾（对抗 Lost in the Middle）
3. 对于长文档分析任务，考虑分段处理而不是一次性全扔给模型
4. OpenClaw 的 cron isolated session 设计就是在对抗 Context Rot——每次任务开新 session，不带历史包袱